Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.
translated by 谷歌翻译
联合学习（FL）已成为解决数据筒仓问题的实用解决方案，而不会损害用户隐私。它的一种变体垂直联合学习（VFL）最近引起了人们的关注，因为VFL与企业对利用更有价值的功能的需求相匹配，以构建更好的机器学习模型，同时保留用户隐私。当前在VFL中的工作集中于为特定VFL算法开发特定的保护或攻击机制。在这项工作中，我们提出了一个评估框架，该框架提出了隐私 - 私人评估问题。然后，我们将此框架作为指南，以全面评估针对三种广泛依据的VFL算法的大多数最先进的隐私攻击的广泛保护机制。这些评估可以帮助FL从业人员在特定要求下选择适当的保护机制。我们的评估结果表明：模型反转和大多数标签推理攻击可能会因现有保护机制而挫败；很难防止模型完成（MC）攻击，这需要更高级的MC靶向保护机制。根据我们的评估结果，我们为提高VFL系统的隐私保护能力提供具体建议。
translated by 谷歌翻译
联合学习（FL）使参与方能够在不公开私人数据信息的情况下协作建立一个全球模型。必须采用适当的保护机制，以满足保留\ textit {privacy}并维护高模型\ textit {utility}的相反要求。此外，为了实现大规模的模型培训和部署，联合学习系统实现高\ textit {效率}是一项任务。我们提出了一个统一的联合学习框架，可以调和水平和垂直的联合学习。基于此框架，我们制定和量化了隐私泄漏，公用事业损失和降低效率之间的权衡，这使我们成为了联合学习系统的无午餐定理（NFL）定理。 NFL表示，期望FL算法同时在某些情况下同时提供出色的隐私，实用性和效率是不现实的。然后，我们分析了几种广泛补习的保护机制的隐私泄漏，效用损失和效率降低的下限，包括\ textit {Randomization}，\ textIt {同粒子加密}，\ textit {secretit {secret {sertial {sertion {sertion {compression} {Compression}。我们的分析可以作为选择保护参数以满足特定要求的指南。
translated by 谷歌翻译
联合学习（FL）使独立方能够在保护数据隐私的同时协作建立机器学习（ML）模型。 FL的变体垂直联合学习（VFL）最近引起了人们的注意，因为VFL与企业对利用更有价值的功能的需求相匹配，以实现更好的模型性能而不会损害数据隐私。但是，传统的VFL可能会陷入数据缺陷，因为它只能用标签来利用标签的对准样品（属于不同的各方），而通常将大多数未对齐和未标记的样品均未使用。数据缺乏阻碍了联邦的努力。在这项工作中，我们提出了一个联合的混合自我监督的学习框架，即Fedhssl，以利用参与者的所有可用数据（包括未对准和未标记的样本）来培训联合VFL模型。 FEDHSSL的核心思想是利用各方之间对齐的样本的跨党派观点（即分散特征）和各方的本地观点（即增强）来提高通过SSL（SSL）的表示能力（例如，simsiam）。 FEDHSSL进一步利用各方共享的通用特征，以通过部分模型聚合来提高联合模型的性能。我们从经验上证明，与基线方法相比，我们的FEDHSSL实现了显着的性能增长，尤其是当标记样品数量较小时。我们对FedHSSL提供有关隐私泄漏的深入分析，这在现有的自我监督的VFL作品中很少讨论。我们研究了FEDHSSL的保护机制。结果表明，我们的保护可以阻止最先进的标签推理攻击。
translated by 谷歌翻译
车辆网络使车辆能够通过培训数据支持实时车辆应用。由于计算能力有限，车辆通常将数据传输到网络边缘的路边单元（RSU）以处理数据。但是，由于隐私问题，车辆通常不愿彼此共享数据。对于传统的联合学习（FL），车辆在本地训练数据以获取本地模型，然后将本地模型上传到RSU以更新全局模型，因此可以通过共享模型参数而不是数据来保护数据隐私。传统的FL同步更新全局模型，即RSU需要等待所有车辆上传其模型以进行全局模型更新。但是，车辆通常可能会在RSU通过培训获得本地模型之前从覆盖范围中移出，从而降低了全球模型的准确性。有必要提出一个异步联合学习（AFL）来解决此问题，其中RSU一旦从车辆中收到本地模型就会更新全球模型。但是，数据量，计算能力和车辆迁移率可能会影响全球模型的准确性。在本文中，我们共同考虑数据的量，计算功能和车辆移动性，以设计AFL方案以提高全球模型的准确性。广泛的仿真实验表明，我们的方案优于FL方案
translated by 谷歌翻译
车辆边缘计算（VEC）可以在网络边缘的不同RSU中缓存内容，以支持实时车辆应用。在VEC中，由于车辆的高运动特性，有必要提前缓存用户数据，并为车辆用户学习最流行和最有趣的内容。由于用户数据通常包含隐私信息，因此用户不愿与他人共享其数据。为了解决这个问题，传统的联合学习（FL）需要通过汇总所有用户的本地模型来保护用户的隐私来同步更新全局模型。但是，车辆可能会在实现本地模型培训之前经常离开VEC的覆盖范围，因此无法按预期上传本地型号，这将降低全球模型的准确性。此外，本地RSU的缓存能力有限，流行内容是多样的，因此预测的流行内容的大小通常超过本地RSU的缓存能力。因此，在考虑内容传输延迟的同时，VEC应在不同的RSU中缓存预测的流行内容。在本文中，我们考虑了车辆的流动性，并提出了基于联合和深度强化学习（CAFR）的VEC中的合作缓存计划。我们首先考虑车辆的移动性，并提出异步FL算法以获得准确的全局模型，然后提出一种算法来预测基于全球模型的流行内容。此外，我们考虑了车辆的移动性，并提出了深入的强化学习算法，以获取预测流行内容的最佳合作缓存位置，以优化内容传输延迟。广泛的实验结果表明，CAFR方案的表现优于其他基线缓存方案。
translated by 谷歌翻译
随着社交软件和多媒体技术的持续发展，图像已成为传播信息和社交的重要载体。如何全面评估图像已成为最近研究的重点。传统的图像美学评估方法通常采用单个数值总体评估评分，该评估具有一定的主观性，无法再满足更高的美学要求。在本文中，我们构建了一个称为Aesthetic混合数据集的新图像属性数据集，该数据集具有属性（AMD-A）和设计融合的外部属性功能。此外，我们还提出了一种有效的方法，用于在混合多属性数据集上进行图像美学属性评估，并通过使用ExtisticNet-B0作为骨干网络来构建多任务网络体系结构。我们的模型可以实现美学分类，整体评分和属性评分。在每个子网络中，我们通过ECA通道注意模块改进特征提取。至于最终的整体评分，我们采用了教师学习网络的想法，并使用分类子网络来指导美学的整体细粒回归。实验结果，使用思维螺旋式的结果表明，我们提出的方法可以有效地改善美学整体和属性评估的性能。
translated by 谷歌翻译
对象异常的检测对于工业过程至关重要，但是由于难以获得大量有缺陷的样本以及现实生活中无法预测的异常类型，因此无监督的异常检测和定位尤为重要。在现有的无监督异常检测和定位方法中，基于NF的方案取得了更好的结果。但是，两个子网（复杂函数）$ s_ {i}（u_ {i}）$和$ t_ {i}（u_ {i}）在nf中通常是多层的perceptrons，需要从2D扁平至1D，破坏了特征图中的空间位置关系并丢失空间结构信息。为了保留并有效提取空间结构信息，我们在这项研究中设计了一个复杂的函数模型，该模型具有交替的CBAM嵌入在堆叠的$ 3 \ times3 $全卷积中，该卷积能够保留并有效地在标准化流程模型中提取空间结构信息。 MVTEC AD数据集的广泛实验结果表明，Cainnflow基于CNN和Transformer Backbone网络作为特征提取器达到高级准确性和推理效率，并且Cainnflow可在MVTEC广告中获得$ 98.64 \％的像素级AUC $ 98.64 \％\％。
translated by 谷歌翻译
在联邦学习方案中，多方共同从其各自的数据中学习模型，有两个相互矛盾的目标是选择适当的算法。一方面，必须在存在\ textit {semi-honest}合作伙伴的情况下尽可能保持私人和敏感的培训数据，而另一方面，必须在不同方之间交换一定数量的信息学习实用程序。这样的挑战要求采用隐私的联合学习解决方案，该解决方案最大程度地提高了学习模型的效用，并维护参与各方的私人数据的可证明的隐私保证。本文说明了一个一般框架，即a）从统一信息理论的角度来制定隐私损失和效用损失之间的权衡，而b）在包括随机化，包括随机性，包括随机的机制，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，包括随机性，，使用稀疏性和同态加密。结果表明，一般而言\ textit {没有免费的午餐来进行隐私 - 私人权衡取舍}，并且必须用一定程度的降级效用进行保存隐私。本文中说明的定量分析可以作为实用联合学习算法设计的指导。
translated by 谷歌翻译
面向任务导向的对话系统已经受到获得大规模和高质量的注释对话的困难困扰。此外，大多数公开的数据集仅包括书面对话，这不足以反映实际口头对话系统中的实际人类行为。在本文中，我们提出了面向任务的对话数据增强（TOD-DA），这是一种新型模型 - 不可知的数据增强范例，以提高面向任务对话建模的鲁棒性。 TOD-DA由两个模块组成：1）对话丰富，以扩展关于易于执行数据稀疏性的任务对话的培训数据，用于宽松数据稀疏性和2）口语对话模拟器，以模仿各种粒度的口语样式表达和语音识别错误，以弥合书面之间的差距和口头对话。通过这样的设计，我们的方法在DSTC10 Track2的两个任务中排名第一，这是针对口语对话的任务对话建模的基准，展示了我们提出的TOD-DA的优势和有效性。
translated by 谷歌翻译